Development of the J-PARC time-series data archiver using a distributed database system, 2

菊澤 信宏; 池田 浩; 加藤 裕子; 吉位 明伸*

Proceedings of 15th International Conference on Accelerator and Large Experimental Physics Control Systems (ICALEPCS 2015) (Internet), p.818 - 821, 2016/00

https://doi.org/10.18429/JACoW-ICALEPCS2015-WEPGF052

J-PARCのLINAC, RCSから得られる制御に必要な大量な運転データは現在PostgreSQLに格納しているが、データ量は日々増え続けており、2020年には30TBから100TBに増えると予想されている。これらを安定的に保存・管理する課題に直面していため、HadoopおよびHBaseを利用したデータアーカイビングシステムの開発を進めている。現在までに基本的なシステムの構築を終え、過去データの移行および長期運用を始めているが、Hadoop/HBaseのバージョンが上がったことに伴って新しい機能が追加され、システムの構成の見直しを行った。これまで単一障害点であったマスターノードがHadoopの標準機能として冗長化されたが、これまでのハードウェアでは能力不足ということが明らかになったのでハードウェアを更新した。また、データを保存するテーブルの圧縮方式が新たに追加されたので、それについていくつかの種類の組み合わせでベンチマークテストを行った。これらの結果について報告する。